Kafka 성능 개선

기존에는 단일 파티션에 단일 컨슈머를 두고 있어 1초에 약 400개의 메시지 밖에 처리할 수 없었습니다.
그래서 여유 메모리 1GB 안에서 Kafka의 성능을 높이고자 햐였습니다.
데이터의 크기를 10KB로 최악으로 가정한 후 파티션을 1개 늘릴 때 약 2MB의 메모리를 더 사용하게 되며, 파티션의 개수에 따라 Consumer Thread를 1개 늘릴 때 약 60MB 메모리를 더 사용하는 것으로 계산했습니다.
컨슈머 스레드를 10개로 두었을 때 1초에 약 1104개의 메시지를 소비할 수 있으며, 메모리 사용량은 약 600(Thread) + 32(Buffer) + 20MB(Segment & Index) = 652MB입니다.
컨슈머 개수가 늘어날수록 처리량이 완만하게 증가하기 때문에 10개의 컨슈머를 두기로 결정하였습니다.